Giữa năm 1550 tới đầu thế kỷ 17, Red Bay được gọi là Balea Baya (Vịnh cá voi), là một trung tâm cho các hoạt động đánh bắt cá voi của người Basque. Thủy thủ từ miền Nam nước Pháp và miền bắc Tây Ban Nha đã gửi 15 tàu đánh bắt cá voi cùng 600 người mỗi mùa săn bắt cá voi để tới các tiền đồn xa trên eo biển của đảo Belle để bắt cá voi và Cá voi đầu cong là loài chủ yếu ở vùng biển đó.

Năm 1565, một con tàu được cho là tàu San Juan đã bị chìm tại vùng biển ngoài khơi Red Bay trong một cơn bão. Một số các tàu khác nhỏ hơn, cũng đã được tìm thấy tại các vùng nước ngoài thị trấn.

Một chiếc thuyền buồm đã được tìm thấy ở độ sâu 25–35 feet dưới nước trong năm 2004. Đó là các con tàu xuyên đại dương thứ tư đã được tìm thấy trong khu vực.

Nghĩa trang trên đảo Saddle gần đó nắm giữ phần còn lại của 140 tàu săn cá voi. Nhiều người trong số những thủy thủ săn bắt cá voi được chôn ở đây, nguyên nhân được cho là do chết đuối và bị bỏ rơi tại đây.

Sử gia tin rằng sự sụt giảm cá voi trong khu vực đã dẫn đến việc từ bỏ các trạm đánh bắt cá voi ở Red Bay. Ngày nay, một trung tâm nghệ thuật trình diễn ở thị trấn giải thích lịch sử cho du khách.

Truyền thuyết địa phương của Red Bay làm tham chiếu đến một kho báu bị chôn vùi dưới vùng nước ngọt gọi là Pond on the Hill (Hồ nước trên đồi) 51°43′43″B 56°26′56″T / 51,72861°B 56,44889°T / 51.72861; -56.44889 tại chân của Đồi Tracey, nơi có những tên cướp biển khét tiếng của thuyền trưởng William Kidd. Một nỗ lực đã được thực hiện để tìm thấy kho báu của cư dân thị trấn Carrol Cove bằng cách tháo cạn các ao nhưng các nỗ lực đều đã thất bại.

Red Bay đã được chỉ định là một di tích lịch sử quốc gia của Canada,[3][4]] và kể từ năm 2013 nó là một di sản thế giới tại Canada được UNESCO công nhận.[5]